/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 2.下载 使用命令进行下载 wget http://mirrors.shu.edu.cn /apache/kylin/apache-kylin-2.3.0/apache-kylin-2.3.0-hbase1x-bin.tar.gz 或者先在本地下载,然后上传服务器 3.解压 tar -zxvf apache-kylin-2.3.0-hbase1x-bin.tar.gz 三、kylin配置 1.配置环境变量 (1)编辑 profile 文件 vim /etc/profile (2)设置 KYLIN_HOME /start-hbase.sh 2.启动 kylin 进入 kylin 的 bin 目录,执行 . /kylin.sh start 即可启动kylin 3.访问kylin管理界面 启动kylin之后,浏览器访问:http://your_hostname:7070/kylin。
[root@compile src]# cd kylin/ # kylin版本切换 # 本文是基于HDP-3.1.4.0-315安装部署Kylin,HDP-3.1.4.0-315的Hadoop版本是 Kylin 本文基于HDP3.1大数据平台安装部署Kylin,大数据平台的安装部署参考博主的其他文章 2.2 安装部署 # 1.上传编译好的kylin安装包并解压 [admin@hdp01 apps 因为后续有可能会部署Kylin3.x,所在这里修改了metedata url,区分这里是2.x版本 kylin.metadata.url=kylin_2_metadata@hbase kylin.env.hdfs-working-dir KYLIN_HOME is set to /opt/apps/kylin # 10.设置HDFS权限,admin是Linux的普通用户 [admin@hdp01 kylin]$ sudo usermod 到这里,Kylin2.6就安装部署成功了! 3.
此篇为大家带来的是Kylin的简单介绍及安装部署。 可伸缩性和高吞吐率:单节点Kylin可实现每秒70个查询,还可以搭建Kylin的集群。 4.BI工具集成 Kylin可以与现有的BI工具集成,具体包括如下内容。 安装部署Kylin(下面的所有步骤所有虚拟机均需操作) 1.将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux ? 2. 解压apache-kylin-2.5.1-bin-hbase1x.tar.gz到/opt/module [bigdata@hadoop002 kylin]$ tar -zxvf apache-kylin // 结束Kylin [bigdata@hadoop002 kylin]$ bin/kylin.sh stop ?
的Apache社区官网,具体参考:http://kylin.apache.org/cn/,本文主要描述如何在CDH集群中部署及使用Kylin。 内容概述 1.下载Kylin 2.部署Kylin 3.Demo1 4.Demo2 测试环境 1.RedHat7.4 2.CM/CDH5.13.3 3.Apache Kylin2.1.0 4.集群未启用Kerberos 前置条件 1.CDH集群正常运行 2.Hive,HBase服务运行正常 3.安装Kylin服务的节点已经部署Hive Gateway 2.下载Kylin ---- 社区版kylin下载地址:https 3.部署Kylin ---- 这里测试只部署了一个节点,实际生产可以部署多个节点,kylin是无状态的,前端做负载均衡。 1.上传kylin包至服务器 ? 4.执行bin/check-env.sh检查kylin运行环境 ? 5.启动kylin服务,执行bin/kylin.sh start命令 ? ?
放弃不难,但坚持很酷~ HDP版本:3.0 Kylin版本:2.6.0 前言 本文主要讲解如何部署Kylin集群,采取多个Kylin实例共享HBase存储的模式,如果需要事先了解Kylin基本概念的朋友可以查看 一、安装启动Kylin 首先安装一个Kylin实例,然后再分析Kylin集群模式部署的注意点。 1. 解决hive用户不能访问/kylin/kylin_metadata /kylin/kylin_metadata文件主要存储同步Hive表基数的相关文件,以及存储构建cube的相关信息。 下图描绘了 Kylin 集群模式部署的一个典型场景: ? 如果您需要将多个 Kylin 节点组成集群,请确保他们使用同一个 Hadoop 集群、HBase 集群。 ,即仅有一台kylin可以配置为kylin.server.mode=all或kylin.server.mode=job,其余机器的kylin配置为kylin.server.mode=query。
1.2.1+ HBase: 1.1+ Spark (可选) 2.1.1+ Kafka (可选) 0.10.0+ JDK: 1.7+ OS: Linux -2.5.2 2,Kylin下载与安装 下载Kylin的时候,需要注意Kylin的版本,Kylin支持CDH,也有原生的版本。 下载完成后,将tar包上传到linux中,进行解压: tar -zxvf apache-kylin-2.5.2-bin-hbase1x.tar.gz 然后对解压后的目录改名: kylin.job.jar=/opt/kylin2.5.2/lib/kylin-job-2.5.2.jar kylin.coprocessor.local.jar=/opt/kylin2.5.2/lib 3,其他配置 第二部完成后,Kylin的部署工作刚完成一半,因为Kylin的边缘配置还有一些。
Kylin在部署的以后需要依赖Hadoop,Hive以及HBase等组件,最近公司内部在部署Kylin服务的时候遇到了不少问题。 主要是HBase集群是独立部署的,与Kylin部署的HDFS不是同一个,因此踩了许多坑,这里将遇到的一些问题记录下来,希望能帮助到大家。 Hadoop版本:2.7.3 Hive版本:2.1.1 HBase版本:1.2.6 Kylin版本:2.4.0和2.6.1均有 由于Kylin和HBase在两个不同的HDFS集群,因此为了让Kylin服务可以访问 kerberos的HDFS 1由于我们的Kylin所以来的HDFS是线上的,所以一般都部署了kerberos作为安全认证,但是HBase是独立部署的,因此HBase所在的HDFS是没有认证方式的,包括HBase 问题七 Kylin进程FULL GC挂掉 Kylin进程默认的JVM参数是相对比较小的,我们需要手动调大一些,在KYLIN_HOME/conf/setenv.sh中,有一个KYLIN_JVM_SETTINGS
通过Docker部署,既能保留其安全增强、国产化生态适配的优势,又能解决传统部署中环境不一致、迁移繁琐的问题。以下按生产级规范,从场景边界到落地验证,分步讲解部署全流程。 /arm64docker.xuanyuan.run/macrosan/kylin:v10-sp3-2403#amd64架构(x86服务器)dockerpull--platform=linux/amd64docker.xuanyuan.run dockertagdocker.xuanyuan.run/macrosan/kylin:v10-sp3-2403kylin:test⚠️生产环境禁止使用latest标签,需保持版本可追溯,避免部署一致性问题 kylin-test/data:/var/data\-v/data/kylin-test/conf:/etc/custom\-eTZ=Asia/Shanghai\--platform=linux/arm64 用户platform:linux/arm64#架构指定ports:-"5432:5432"volumes:-.
,请参考《如何在CDH中部署及使用Kylin》,文章中包含了如何在CDH上部署Kylin,以及创建cube,然后进行查询的两个demo例子。 本文主要描述如何在启用Kerberos的CDH集群中如何部署及使用Kylin。 3.部署Kylin ---- 这里测试只部署了一个节点,实际生产可以部署多个节点,kylin是无状态的,前端做负载均衡,kylin的负载均衡配置后续会有文章详细介绍。 5.创建kylin的kerberos账号,并生成kylin账号的keytab文件 ? 生成kylin账号的keytab文件 ? ? 并将kylin.keytab文件拷贝至部署Kylin的节点上 ? 6.在部署kylin的节点上设置定时任务,进行kinit操作,kylin使用kylin用户去放问CDH集群的hive和hbase,所以需要kylin的凭证,通过定时执行以下脚本获取kylin用户的凭证
Kylin构建Cube算法Kylin中Cube的思想是用空间换时间, 通过预先的计算,把索引及结果存储起来,以换取查询时候的高性能。 在Kylin v1.5以前,Kylin中的Cube只有一种算法:layered cubing,也称逐层算法,它是逐层由底向上,把所有组合算完的过程。 Kylin v1.5以后,推出Fast Cubing,也称快速数据立方算法,是一个新的Cube算法。 三、算法选择用户无需担心使用什么算法构建cube,Kylin会自动选择合适的算法。 在对上百个Cube任务的时间做统计分析后,Kylin选择了7做为默认的算法选择阀值(参数kylin.cube.algorithm.auto.threshold):如果各个Mapper的小Cube的行数之和
-2.0.0-bin-hbase1x.tar.gz hadoop-2.7.2.tar.gz hbase-1.1.9-bin.tar.gz jdk-8u144-linux-x64.tar.gz zookeeper 安装过程: 三个大步骤就可以完成环境的部署了,酒足饭饱,泡好茶客官准备开始咯: 1.更改服务器名称: 192.168.6.220 hadoop 这一行就是我们添加192.168.6.220 就是本地IP jdk-8u144-linux-x64.tar.gz zookeeper-3.4.8.tar.gz 为了整洁方便使用, 我统一解压放在根目录workspace ,jdk放在/user/java/目录下 yarn.nodemanager.remote-app-log-dir</name> <value>/YarnApp/Logs</value> </property> </configuration> slaves 由于是单机部署 样例数据且启动主角 Kylin A.导入实例数据:/workspace/kylin/bin/sample.sh B.启动Kylin :/workspace/kylin/bin/kylin.sh start
文章目录 Apache Kylin™ 概览 Kylin 是什么? Kylin 生态圈 Apache Kylin™ 概览 Apache Kylin™是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据 Kylin 是什么? 引擎),Kylin 为 Hadoop 提供标准 SQL 支持大部分查询功能 交互式查询能力: 通过 Kylin,用户可以与 Hadoop 数据进行亚秒级交互,在同样的数据集上提供比 Hive 更好的性能 Kylin 生态圈 Kylin 核心: Kylin 基础框架,包括元数据(Metadata)引擎,查询引擎,Job引擎及存储引擎等,同时包括REST服务器以响应客户端请求 扩展: 支持额外功能和特性的插件
前言 网上搜索了一筐如何在Linux下安装部署Redis的文章,各种文章混搭在一起勉强安装成功了。自己也记录下,方便后续安装时候有个借鉴之处。 Redis版本 5.0.4 服务器版本 Linux CentOS 7.6 64位 下载Redis 进入官网找到下载地址 Redis 右键Download按钮,选择复制链接。 假设不添加该关键字Linux会将可执行文件存放在/usr/local/bin目录, 库文件会存放在/usr/local/lib目录。配置文件会存放在/usr/local/etc目录。 我么可以通过cat、vim、less等Linux内置的读取命令读取该文件。 也可以通过redis-cli命令进入redis控制台后通过CONFIG GET * 的方式读取所有配置项。 关于直接输入redis-server不行的问题我还怀疑是不是Linux缓存问题,我重启服务器尝试下。结果还是一样的。。。
此篇为大家带来的是Kylin的快速入门。 一. 数据准备 在Hive中创建数据,分别创建部门和员工外部表,并向表中导入数据。 1. 用到的元素数据 2. Hive和Kylin性能对比 需求:根据部门名称[dname]统计员工薪资总数[sum(sal)] 1. Kylin查询 1.进入Insight页面 2.在New Query中输入查询语句并Submit select dept.dname,sum(emp.sal) from emp join dept
本篇文章就概念、工作机制、数据备份、优势与不足4个方面详细介绍了Apache Kylin。 Apache Kylin 简介 1. Apache kylin 是一个开源的海量数据分布式预处理引擎。 如果你查看过 Kylin 的配置文件(kylin.properties),你会发现这样一行: ## The metadata store in hbase kylin.metadata.url=kylin_metadata 在这种情况下,假设你在部署 Kylin 的 hadoop 命令行(或沙盒)里,你可以到 KYLIN_HOME 并运行: . 其实现在能做到的只有 Kylin,在这一点上也没有什么太多其他的选择。 3. 从易用性上来讲,Kylin 也有非常多的特点。 在部署运维和使用成本上来讲,都是比较低的。Kylin 有一个通用的 Web Server 开放出来,所有用户都可以去测试和定义,只有上线的时候需要管理员再 review 一下,这样体验就会好很多。
Apache Kylin 介绍 一、什么是 Kylin Apche Kylin 是 Hadoop 大数据平台上的一个开源 OLAP 引擎。 as KYLIN_SALES_LEAF_CATEG_ID ,KYLIN_SALES.LSTG_SITE_ID as KYLIN_SALES_LSTG_SITE_ID ,KYLIN_SALES.SLR_SEGMENT_CD as KYLIN_SALES_SLR_SEGMENT_CD ,KYLIN_SALES.OPS_USER_ID as KYLIN_SALES_OPS_USER_ID ,KYLIN_CAL_DT.CAL_DT as KYLIN_CAL_DT_CAL_DT ,KYLIN_SALES.ITEM_COUNT as KYLIN_SALES_ITEM_COUNT ,KYLIN_SALES.PRICE as KYLIN_SALES_PRICE FROM DEFAULT.KYLIN_SALES as KYLIN_SALES INNER JOIN DEFAULT.KYLIN_CAL_DT as KYLIN_CAL_DT
4:已经过时的Cube构建的日志和任务历史 kylin 本身提供了如何清理垃圾数据的操作,在这里要注意一点就是元数据的清理要做好备份准备,同时kylin也提供了元数据备份的操作。 一 :kylin 元数据的清理 元数据主要包括无用的字典,表的快照等无用信息,可以通过下面的命令来查看和清理无用的元数据 1):检查元数据(这个命令只是一个查询,不会对kylin做其它操作,是安全的) /metadata.sh restore $KYLIN_HOME/metadatabackup/metadata_xx_xx_xx 二 :清理存储器数据 kylin在构建Cube过程中会在HDFS上生成中间数据 1):列出kylin 存储在hdfs上面的所有中间数据,也可以认为是可删除数据 ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob (我这里已经执行删除过了,所以是空的) 2 ):执行删除操作 ${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob
一、Apache kylin的核心概念 表(Table ):表定义在hive中,是数据立方体(Data cube)的数据源,在build cube 之前,必须同步在 kylin中。 二、Apache kylin的工作机制 Apache kylin 能提供低延迟(sub-second latency)的秘诀就是预计算,即针对一个星型拓扑结构的数据立方体,预计算多个维度组合的度量 预计算的过程在kylin中就是 Cube 的build过程,如下图: ? 当前Apache kylin构建(build)数据立方体,采用逐层算法(By Layer Cubing)。 三、Apache kylin的架构及核心组件 Apache kylin 架构如下: ? Rest Server:当前kylin采用的rest API、JDBC、ODBC接口提供web服务。
本文是《CDH+Kylin三部曲》系列的第二篇,上一篇《CDH+Kylin三部曲之一:准备工作》已将所需的机器和文件准备完毕,可以部署CDH和Kylin了; 执行ansible脚本部署CDH和Kylin 执行命令开始部署:ansible-playbook cm6-cdh5-kylin264-single-install.yml 整个部署过程涉及在线安装、传输大文件等耗时的操作,请耐心等待(半小时左右), 如果部署期间出错退出(例如网络问题),只需重复执行上述命令即可,ansible保证了操作的幂等性; 部署成功如下图所示: ? 启动Kylin:$KYLIN_HOME/bin/kylin.sh start 控制台输出以下内容说明启动Kylin成功: ? 至此,CDH和Kylin的部署、设置、启动都已完成,Kylin已经可用了,在下一篇文章中,我们就在此环境运行Kylin的官方demo,体验Kylin
背景 : 近来公司要做报表,随简单研究一下Kylin。Kylin可谓是我泱泱中华在Apace史上耀眼的一笔。 作用: Kylin是强大的OLAP分析引擎,详见官网。 Kylin 1.6 CDH5.10 安装 Kylin有两种安装方式:单机及集群。本文以集群为例。单机版Kylin安装起来还是挺简单的,解压即安装。 =/home/syphcdh/kylin/kylin-1.6.0-cdh5.7 export PATH={PATH}:{KYLIN_HOME}/bin 2.Kylin. 原因3点: 说白了就是kylin关于hbase的3个参数: kylin.query.scan.threshold kylin.query.mem.budget kylin.query.coprocessor.mem.gb threshold ,而前端查询kylin是timeout 6.当用kylin做报表时,kylin报错 2017-06-26 14:51:52,523 ERROR [IPC Server handler